Universal-Lexikon. 2012.
Robots exclusion standard — selfref| For restricting Wikipedia bots, see .|The robot exclusion standard, also known as the Robots Exclusion Protocol or robots.txt protocol, is a convention to prevent cooperating web spiders and other web robots from accessing all or part of … Wikipedia
Robots Exclusion Standard — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… … Deutsch Wikipedia
Robot (disambiguation) — A robot is an electro mechanical device.Robot may refer to: * Endhiran , a forthcoming Indian science fiction film previously known as Robot * Robots (computer game), a computer game originally developed for the unix operating system. * Robot… … Wikipedia
Standard d'exclusion de robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Robot.txt — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Protocole d'exclusion des robots — est une ressource de format texte qui peut être placée à la racine d un site web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d indexation des moteurs de recherche. Par convention, les… … Wikipédia en Français
Fichier D'exclusion Des Robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Fichier d'exclusion des robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
Fichier d exclusion des robots — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… … Wikipédia en Français
DotBot — is a crawler of Dotnetdotcom.org[1]. This crawling system is written in a mixture of C and Python. Dotbot obeys the Robot Exclusion standard[2], the user agent string of Dotbot is DotBot/1.1[3]. References ^ … Wikipedia
